记忆感知路由:会话级LLM助手的记忆构造与模型选择协同框架
🧭 Agent 会话记忆与路由协同优化 ★ 深度解读
Southern University of Science and Technology · City University of Hong Kong · The Chinese University of Hong Kong, Shenzhen · Harbin Institute of Technology (Shenzhen)
通过共享会话状态协调记忆暴露与模型选择,在长历史交互中实现质量-成本平衡
📌 工作参考价值(4 点)
- 在电商客服/导购 Agent 中,将记忆构造与模型路由解耦会导致强模型被错误上下文拖累,建议引入轻量级控制器(QTM)输出结构化会话状态,同时指导召回/上下文组装和模型选择,降低过期信息与干扰。
- 使用 LinUCB 在线学习路由策略,以 turn-level rubric 评分减生成成本作为奖励,冷启动即可用,无需重训底层 LLM,适合线上多模型池的动态成本控制。
- 区分「记忆访问」与「记忆暴露」:维护大记忆池但只给生成模型打包决策相关证据,并通过预算感知 pack 适配不同模型的上下文窗口,能有效避免 context overflow 和多余 distractors。
- 借鉴 QTM 的 schema 字段(action/query_type/phase/retrieval_scope/top_k_hint/lens_recommendation),避免把原始 topic 标签直接喂给路由器,有助于跨任务泛化和可解释性。
RippleMem:从孤立检索到联想式回忆的长期 Agent 记忆系统
🧭 长期 Agent 记忆 · 联想式证据补全 ★ 深度解读
Communication University of China · Zhilian Yinghe Technology Co., Ltd. · State Key Laboratory of Media Convergence and Communication
把已召回记忆作为 cue,沿事件图局部扩展补全缺失证据,长期记忆 QA 精度显著提升
📌 工作参考价值(4 点)
- 在客服/导购 Agent 中,用户偏好、约束常分散在多轮多 session:一次检索容易只召回直接相关记忆,却漏掉安全约束(如海鲜过敏)。可借鉴「召回后把已召回记忆当 cue,用 LLM 判断缺失证据目标,再沿语义/结构化边局部扩展」的读阶段,避免无向图全局游走。
- 写入阶段把对话压缩为 cue-rich episodic units,结构化保存参与者/地点/时间,并建稀疏图:语义边 + 结构化边(Jaccard/时间衰减)。电商场景可把用户、商品、场景实体存为 cue,便于跨 session 关联,且比维护完整 KG 便宜约 30 倍。
- 工程实现上,建图采用增量式候选池(语义近邻 + 结构化倒排),每节点最多 K 条边,避免 O(N²);证据装配用固定权重排序 + 固定 evidence budget,上下文 token 可控。query-time 控制器额外引入 LLM 延迟,可异步或缓存。
- 复用结论:关联/图检索只有在「evidence-conditioned」补全(有明确缺失支撑目标)时才有效,单纯加图或递归检索容易召回相关但不支持答案的记忆;业务里可用 missing-support target 约束扩展方向。
LycheeMemory V2:语义片段级巩固的 LLM Agent 长期记忆框架
🧭 LLM Agent 长期记忆构建与检索 ★ 深度解读
Harbin Institute of Technology, Shenzhen
将逐轮记忆巩固改为语义片段级批量编码,写侧 token 降最多 86% 且 LoCoMo/LongMemEval-S 精度 SOTA
📌 工作参考价值(4 点)
- 在对话式推荐/导购 Agent 中,不要每轮都调 LLM 写画像;改成按语义完整片段批量生成 typed memory records(偏好/事实/约束/事件),写侧 token 可降低 75%–86%,适合长期用户画像积累。
- 分段触发别用固定窗口,可用 embedding 相似度 + cohesion drop 在线检测语义边界,保留事件和话题结构;固定窗口在消融中精度掉 6.8pp,语义分片能提升多跳和开放域问答。
- 把非结构化对话提炼为 typed records,并建立 entity/topic/temporal/event-frame 结构化索引;查询时 planner 一次性规划多路召回(record/节点/时间/原始 turn),再用 RRF 融合,能有效处理多跳、时序、偏好追踪类查询,且避免多轮 LLM 检索带来的 query token 上升。
- 评估记忆系统时,把 construction tokens 和 query tokens 分开核算,不要只比精度;该方法在精度提升 20pp 以上的同时,query tokens 反而比 A-Mem 低 28%–43%。
大规模参数化长期记忆模块:独立预训练与解耦扩展
🧭 参数化长期记忆与 LLM 解耦 · 独立扩展 ★ 深度解读
LUMIA Lab, Shanghai Jiao Tong University · Shanghai Artificial Intelligence Laboratory · Tsinghua University
将参数化长期记忆模块扩展至 6.9B 参数、300B 令牌预训练,小 backbone 搭配大记忆在多项基准上超越更大纯骨干模型且总参数更少
📌 工作参考价值(4 点)
- 记忆模块即插即用,适合多领域推荐系统快速迁移:预训练好的通用或领域记忆可以直接插在冻结的推荐模型(如同 backbone)上,仅需少量计算即适配新领域,避免全量微调,显著降低部署成本。
- kNN 分布蒸馏到参数模块,避免在线检索:电商搜索或推荐场景通常需要实时反馈,该方案将检索信号离线蒸馏为参数化记忆,推理时无需外部索引和检索,降低延迟和存储,可直接用于排序或召回的特征增强。
- 小 backbone + 大记忆的参数效率优势:在推荐模型中,可以用相对较小的主网络搭配较大记忆模块,在总参数受限时比单纯扩大主网络更高效,例如为轻量召回模型配备大容量记忆来提升冷门物品或长尾查询的覆盖。
- 记忆训练目标可提升训练数据可追溯性:论文中的抽取式记忆评估表明记忆能更精准还原训练样本,类似思路可用于推荐系统中关键行为或商品的记忆固化,帮助可解释性和合规审查。
ReflectWorld-MM: 面向实体的开放视频流多模态记忆系统
🧭 面向实体的视频流长期记忆 · Agent 记忆增强
Rightly Robotics · Hangzhou Institute for Advanced Study, UCAS · Zhejiang University
以实体为中心的分层多模态记忆系统,在六个长视频与终身记忆基准中全面超越现有方案
📌 工作参考价值(4 点)
- 用户长期兴趣建模:借鉴实体为中心的语义记忆,将用户行为序列中的商品、品牌、品类等作为持久实体,动态更新其表示,避免遗忘历史兴趣,适用于电商推荐中的长周期兴趣刻画。
- Agent 对话记忆架构:分层记忆设计(情景记忆、语义记忆、程序记忆)可直接迁移到对话推荐或客服 Agent,使 Agent 能跨会话记住用户提及的实体及其变化,提升连续交互的连贯性。
- 流式数据处理:感知前端与短时记忆的边界设计,适合工程化实现流式用户行为输入下的增量更新,可参考其在特征存储和实体解析上的工程权衡,构建实时推荐特征管道。
- 多模态扩展思路:若将视频流替换为商品图文流或直播流,实体导向记忆有助于捕捉跨模态的同一商品,为多模态召回或排序提供一致的表征。
Light-Omni:以反思取代推理的轻量级长时记忆视频智能体
🧭 Agent 轻量级视频理解框架
Nanjing University
通过全局与隐状态实现单步上下文驱动动作,以反射取代迭代推理,速度提升12.1倍、精度提高2.4%
📌 工作参考价值(4 点)
- 全局状态压缩历史的方法可迁移到推荐系统的用户行为序列建模:通过层次化合并保留近期细节、总结远期事件,平衡记忆容量与信息保真度
- 隐状态直接驱动动作的架构能避免昂贵的长链推理,适用于实时推荐中的快速决策(如排序、召回策略的动态生成)
- 双状态设计(全局上下文 + 条件化隐状态)分离了语义理解与动作执行,可借鉴到 Agent 框架中提升检索语义对齐性
- 记忆系统作为即插即用模块增强现有模型,推荐大模型可引入类似长短期记忆以提升连续会话的上下文一致性
通过类型化记忆表示缓解长效Agent中的溯源-角色坍缩
🧭 长效Agent记忆组织 · 类型化记忆原子 ★ 深度解读
Harbin Institute of Technology, Shenzhen · The Hong Kong Polytechnic University · Shenzhen Loop Area Institute
提出类型化记忆中间表示 MEMIR,以记忆原子分离证据、线索与事实,实现溯源监控的结构化
📌 工作参考价值(4 点)
- 记忆原子分层存储:将对话历史拆分为证据 Span、线索(句柄/时间/枢轴)和事实 Claim,避免不同角色信息混杂。在电商对话或购物助手中,可分别存储用户偏好事实、原始对话片段和时间锚点,提升事实追踪与更新。
- 类型约束投影:检索命中的非事实原子(如 Span)必须通过关联 Claim 进入候选,间接阻断虚假事实的生成。适用于 RAG 或 Agent 场景,只让被证据支撑的声明影响答案,减少幻觉。
- 溯源范围利用:通过粗到细排序和选择,仅将 Claim 及其溯源闭包(证据 + 线索)作为“事实接口”输入给答案模型,强制模型在证据范围内生成,并在证据不足时明确拒绝回答。可迁移至生成式推荐,将商品属性类声明与其来源证据打包,提升推荐解释性和防幻觉能力。
- 认知记忆设计借鉴:明确区分外部感知与内部推理,避免将系统推断当作用户提供的事实。在多轮交互中可用于甄别用户真实陈述与模型猜测。